When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities
结构化稀疏自编码器实现跨模态概念一致学习
🧭 多模态可解释性 · 结构化稀疏自编码
Zhejiang University · Nanyang Technological University
在视觉语言模型中，通过图像块分组与结构化稀疏正则化，解决稀疏自编码器概念碎片化问题，提升跨模态概念一致性与单义性
📌 工作参考价值（4 点）
- 对电商/推荐多模态模型（如商品图文理解）的依赖时，S2AE 可作为特征解释工具，分析不同模态下概念表示的一致性，辅助定位模型偏差或碎片化表达。
- 结构化稀疏正则化思路可迁移至其他需要分组特征选择的场景，例如用户行为序列按场景分组后，强制组内一致性与组间解耦，提升表示紧凑性。
- 跨模态概念一致性评估方法（mIoU、monosemanticity）可直接用于评估推荐系统中文本描述与图像特征共嵌入空间的对齐质量。
- 工程上，基于注意力相似度和空间邻近的图像块分组策略可启发商品图像多尺度特征的组织方式，提升视觉概念的可解释性与可控性。